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JE 要 : 为 研究 情境 特征 在 文本 分 类 中 的 作用 ， 提 出 了 一 种 层级 双向 LSTM 模型 用 于 情感 分 类 问题 。 该 模型 首先 将 句 
子 分 词 ， 把 词 向 量 作为 第 一 层 双 向 LSTM 模型 的 输入 ; 其 次 从 文档 中 提取 出 稠密 、 连 续 的 向 量 作 为 情境 特征 ; 然后 将 
第 一 层 模型 的 输出 向 量 和 情境 向 量 共同 输入 第 二 层 双 向 LSTM; 最 后 将 这 种 层级 双向 的 LSTM 模型 的 输出 向 量 通 过 
sigmoid 函数 进行 分 类 。 情 境 向 量 作用 于 每 个 句子 ， 一 致 的 情感 得 到 增强 ， 不 一 致 的 情感 被 弱化 ， 从 而 提高 了 分 类 的 精 
度 。 在 两 个 公开 数据 集 上 的 实验 表明 ， 整 合 了 情境 特征 的 层级 双向 LSTM 取得 较 优 的 精度 。 除 此 之 外 ， 通 过 在 一 个 包 
含 2 万 余 条 中 文 评论 的 公开 数据 集 上 对 模型 进行 测试 , 表明 该 模型 测试 正确 率 相 比 于 普通 的 LSTM 和 双向 LSTM 都 有 
提升 ， 说 明 情 境 特征 对 于 提升 情感 分 类 的 作用 比较 显著 。 
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Context feature and its application on sentiment classification model 
Liu Dong’, Zhang Caihuan^ 


(a. School of Information Technology, b. School of Mathematics, Luoyang Normal University, Luoyang Henan 471022, China) 


Y Abstract: Focusing on the effect of context feature on sentiment classification problem, this paper presented a hierarchical Bi- 
LSTM sentiment classification model. The model includes two level Bi-LSTMs. The model accepted a series of word embedding 


as input in sentence-level. The context feature of whole document was transformed into a dense and continuous vector, 


p concatenated with output vectors of the sentence-level Bi-LSTMs and fed into sigmoid layer to predict sentiment polarity of the 


document. Intuitively, the model computes a context vector mask for every sentence in document. The consistence polarity was 


enhanced, and the inconsistent was weakened. This resulted in better accuracy. The experiment on IMDB and Yelp 2013 dataset 
shows that this hierarchical model with context feature outperforms the common LSTM and Bi-LSTM models significantly, and 
is competitive with the state-of-the-art results. Experiment on another dataset including 20 thousands Chinese reviews was used 
to analyze the causes of this competitive advantage. 


Key words: context feature; sentiment classification; hierarchical Bi-LSTM 


0 az 向 两 种 极 性 ; 也 有 涉及 到 三 分 类 《〈 正 向 、 负 向 、 中 立 ) PHA A 
一 类 的 (将 用 户 的 情感 按 强度 量化 为 多 个 等 级 ) 和 内。 从 所 处 理 的 文 


文本 分 析 的 一 个 重要 研究 方向 是 对 文本 所 表达 的 情感 进行 本 粒度 来 看 , 可 以 分 为 文档 级 、 句子 级 和 词语 级 四。 从 所 处 理 的 
分 类 。 当 前 ， 随 着 互联 网 以 及 移动 端 应 用 的 发 展 和 普及 ， 网 络 语言 来 看 ， 可 以 分 为 单 语言 和 跨 语 言情 感 分 类 。 从 涉及 的 领域 
上 形成 了 海量 的 文本 , 特别 是 评论 , 表达 了 用 户 对 商品 、 服 务 、 来 看 ， 又 可 以 分 为 单 领域 及 跨 领 域 。 
电影 及 时 政 等 的 观点 和 看 法 。 对 这 些 文本 进行 深入 的 分 析 和 控 从 文本 情感 分 类 技术 上 来 看 ， 早 期 的 研究 主要 依赖 于 情感 
所 有 着 重要 的 应 用 价值 ， 并 产生 巨大 的 经 济 效益 趾 ， 比 如 通过 词汇 ， 通 过 从 文本 中 挑选 出 情感 词 作为 特征 ， 再 利用 这 些 特征 
分 析 商 品评 论 能 够 为 商家 提供 产品 反馈 , 进一步 改进 服务 质量 ， 进行 情感 分 类 ， 这 类 方法 的 准确 率 并 不 理想 四。 之 后 机 器 学 习 
优化 营销 策略 ， 对 网 络 评论 进行 情感 分 析 ， 及 时 了 解 社 情 民意 的 方法 包括 有 监督 、 无 监督 、 半 监督 学 习 的 方法 被 应 用 于 文本 
等 。 因 此 对 文本 的 情感 分 类 进行 研究 是 十 分 有 意义 的 。 情感 分 类 问题 使 得 分 类 结果 得 以 提升 {人 1。 随 着 深度 学 习 技术 

文本 情感 分 类 从 类 别 上 来 分 ， 大 多 数 研究 都 分 成 正 向 和 负 在 图 像 和 语音 方面 所 取得 的 巨大 成 功 ， 人 们 将 此 类 技术 运用 于 
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刘 栋 ， 等 : 


情感 分 类 问题 , 也 取得 了 一 定 的 进展 , Severyn 等 人 (8 使 用 无 监 
督 的 语言 模型 来 训练 词 向 量 ， 这 些 词 向 量 作为 一 个 深度 CNN 
Cconvolutional neural network) 的 初始 化 参数 来 对 Twitter 进 和 
情感 分 类 ， 在 Semeval-2015 的 两 个 子 任务 中 取得 很 好 的 结果 ; 
Tang 等 人 09 将 目标 信息 整合 到 LSTM 中 ， 建 模 了 目标 与 它 上 
下 文 之 间 的 相关 性 , 提升 了 情感 分 类 的 精度 ; Nguyen APNE 
出 一 种 基于 RNN (recusive neural network) 情感 分 类 方法 ， 该 
方法 考虑 了 依赖 和 句子 的 成 分 组 成 树 。 这 类 方法 取得 的 结果 说 
明 深 度 学 习 在 自然 语言 理解 方面 大 有 可 为 。 然 而 ， 这 些 方法 只 
考虑 了 短语 级 ， 或 者 句子 级 的 关系 ， 不 能 建 模 句 子 与 句子 间 的 
情感 延续 、 加 强 或 转折 等 关系 。 深 度 神经 网 络 能 够 获得 不 同 抽 
象 级别 的 特征 , 因此 增加 神经 网 络 层 数 无 疑 是 一 种 重要 的 方法 ， 
但 是 对 于 自然 语言 理解 来 说 ， 增 加 神经 网 络 的 层 数 对 计算 资源 
和 数据 集 的 大 小 都 产生 了 新 的 要 求 ， 相 比 来 说 ， 使 用 重复 堆 羞 
的 层级 模型 更 加 合适 ， 比 如 Denil 等 人 P21 就 使 用 了 一 个 层级 的 
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其 中 : xiER* 是 第 i 个 词 的 k 维 词 向 量 。 

同 理 ， 文 档 第 i 个 文档 可 以 由 句子 连接 起 来 ， 表 示 为 

W, = Sj. 5.) 

在 分 析 一 条 评论 的 情感 时 ， 可 以 把 评论 认为 是 一 篇 文档 ， 
整个 文档 构建 了 一 个 情境 ， 因 此 情境 可 以 表示 为 文档 中 所 有 的 
词组 成 的 无 序 集合 , 同 Choi 等 人 R71 采 用 的 方法 一 样 , 本 文 把 情 
境 cz 定 义 如 下 : 


其 中 : 了 为 文档 中 词 的 个 数 。 
1.2 层级 双向 LSTM 模型 

LSTM 是 一 种 特殊 类 型 的 RNN, 可 以 学 习 长 期 依赖 信息 9。 
LSTM 通过 在 RNN 单元 增加 输入 、 输 出 和 忘记 门 来 建 模 长 期 
依赖 ， 在 很 多 问题 ,LSTM 都 取得 了 巨大 的 成 功 ， 并 得 到 了 广 
泛 的 使 用 。 在 对 评论 的 情感 分 析 中 ， 人 们 认识 到 长 期 依赖 问题 


卷 积 神经 网 络 来 抽取 评论 中 的 重要 句子 ，Li 等 人 号 将 层级 
LSTM (long short term memory) 自动 编码 器 应 用 于 段落 生成 和 
重 构 ; 五 等 人 P3] 基 于 RNN (recurrent neural networks) 和 CNN 
进行 短文 本 的 分 类 ， 但 该 方法 是 句子 级 的 ， 并 且 只 考虑 了 目标 
前 后 有 限 个 的 句子 :与 本 文采 用 方法 最 类 似 的 是 Ruder 55 AI 


同样 有 着 重要 的 影响 ， 一 条 评论 不 仅 前 面 的 句子 可 以 反映 出 客 
户 所 要 表达 的 感情 , 后面 的 句子 很 多 时 候 或 者 是 对 情感 的 加 强 ， 
或 者 是 情感 的 反 转 ， 因 此 在 模型 中 使 用 了 层级 双向 的 LSTM, 
分 为 句子 级 和 文档 级 。 

a) 在 句子 级 设置 双向 LSTM, 对 于 句子 中 的 词 tr， 将 wt 对 
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的 层级 模型 ， 他 们 同样 采用 了 层级 的 、 双 向 的 LSTM 模型 进 
情感 分 类 , 但 不 同 的 是 ,他 们 在 句子 级 加 入 了 产品 方面 的 信息 ， 
而 本 文 则 是 在 每 个 句子 中 加 入 了 情境 信息 。 

在 讨论 文档 所 表示 的 情感 时 离 不 开 它 的 上 下 文 ， 也 就 是 名 
子 所 处 在 情境 ， 因 此 在 情感 分 类 的 模型 中 加 入 文档 的 情境 无 疑 
是 有 益 的 。 本 文 讨论 了 文档 情境 的 分 布 式 表 示 ， 这 种 表示 方法 
曾经 被 Choi 等 人 PR7I 用 在 神经 机 器 翻译 模型 中 , 取得 了 不 错 的 效 
Ro Ghosh 等 人 B1 在 模型 中 整合 入 了 情境 特征 (主题), 在 三 个 
自然 语言 处 理 (NLP) 任务 上 评估 CLSTM 模型 : 接续 词语 预 
测 、 接 续 语句 预测 、 语 名 话题 预测 ， 能 做 到 20% 的 提升 。 

本 文 的 贡献 和 创新 之 处 体现 在 如 下 几 个 方面 : a) 本 文 将 情 
境 信息 表示 为 一 个 连续 的 稠密 向 量 应 用 于 句子 的 情感 表达 ， 与 
全 局 情境 一 致 的 情感 得 到 了 加 强 ， 不 一 致 的 情感 被 弱化 ， 因 此 
得 到 了 更 好 的 分 类 效果 ; b) 通 过 实验 说 明了 情感 分 类 模型 在 加 
入 了 情境 信息 后 ， 分 类 精度 不 仅 优 于 普通 的 双向 LSTM 模型 ， 
而 且 与 一 些 采 用 注意 力 机 制 的 模型 相 比 ， 在 经 过 适当 设置 超 参 
数 后 测试 精度 也 有 相当 大 的 提高 。 


1 ”情境 的 表示 及 情感 分 类 模型 


1.1 情境 的 分 布 式 表示 

将 每 条 评论 看 成 是 一 个 文档 (document), 每 个 文档 截断 为 
包含 了 个 句子 (根据 语 料 选择 10)， 如 果 不 足 个 句子 的 ， 添 
加 只 包含 空 字符 串 的 句子 补 全 ;每 个 句子 通过 分 词 ， 截 断 成 包 
amii S), 不足 m 个 的 添加 空 字符 串 补 全 。 这 样 第 i 句子 
可 以 由 词 向 量 连接 起 来 ， 表 示 为 


5, = (X Xatt X) 


应 的 词 向 量 xt、 前 一 个 单元 的 输出 p-! 和 单元 状态 Cei 输入 前 
向 LSTM 来 计算 下 一 个 输出 4 和 单元 状态 Cr。 先 计算 输入 门 i 
和 单元 状态 候选 值 C 以 及 忘记 门 f: 

i, - o(W.x, -U,h, +b,) 

C, = tanh(W.x, +U „h, +b.) 

f, - o(W,x, +U ,h, , * b,) 
计算 新 单元 状态 值 ; 
C -2i*C + f,* C, 
最 后 计算 出 输入 门 的 值 和 本 LSTM 单元 的 输出 及: 

0, - 6(W,x, +U h, € b) 


h, — o, * tanh(C,) 
其 中 : WWW, W, UU, UU, 为 权重 矩阵 , b,b. b,b, 为 偏 置 
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这 个 前 向 LSTM 是 按照 词 出 现 的 先后 次 序 进行 处 理 的 ， 医 
此 可 以 充分 利用 先前 的 信息 ; 同 理 ， 后 向 LSTM 以 相反 的 次 序 
处 理 ， 可 以 充分 利用 后 面 的 信息 。 某 时 刻 的 输出 由 两 个 LSTM 
对 应 时 刻 的 相应 状态 连接 而 成 。 
b) 在 句子 级 上 面 堆 芭 一 个 双向 LSTM。 不 同 的 是 ， 这 个 双 
向 LSTM 是 把 句子 级 LSTM 的 输出 与 情境 向 量 E 连接 起 来 作 
为 输入 的 ， 构 成 了 第 二 层 的 双向 LSTM， 增 加 了 情境 向 量 后 的 
输入 门 i 和 单元 状态 候选 值 C 以 及 忘记 门 上 修改 为 如 下 公式 : 
i, -o(W.x, +Uh , -W,E b) 
C, = tanh(W, x, +U h, , +W,E * b.) 


f, - o(W,x, +U h , +W,E +b,) 
C -iC + f C, 
0, - c(W,x, +U h, +W,E +b,) 
h, = O, tanh(C,) 
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c) 第 二 层 LSTM 的 输出 连接 起 来 形成 的 向 量 被 传递 给 一 个 ”LSTM 和 带 情境 特征 的 HB-LSTM 两 个 模型 进行 比较 ， 结 果 如 


sigmoid 函数 , 产生 该 文档 在 情感 分 类 上 的 概率 分 布 。 模 型 的 结 ” 表 2 所 示 ， 与 之 前 一 样 采用 了 提前 停机 (early_stopping〉 的 策 
构 如 图 1 所 示 。 略 ， 容 忍 度 (patience) 为 2 个 epoch. 

表 2 在 IMDB 和 Yelp2013 上 的 结果 

Table 2 Results on IMDB and Yelp2013 

IMDB Yelp 2013 
模型 - - 
训练 精度 测试 精度 训练 精度 测试 精度 
Bi-LSTM 91.67 90.04 82.44 80.13 


Bi-LSTM with Context 91.68 90.21 82.40 80.49 


| | | L] 

| | | | HB-LSTM with Contex 91.63 90.32 82.53 80.94 
| | | 

H | l | 从 表 2 可 以 看 出 ， 和 Bi-LSTM 相 比 ，HB-LSTM 在 两 个 数 


Word Embeddings ,..., Word Embeddings 


据 集 上 的 测试 精度 均 有 不 同 程度 的 提升 。 
图 1 HB-LSTM 模型 结构 区 由 于 使 用 了 与 Chen 等 人 P91 使 用 的 相同 数据 集 ， 并 且 同 样 
Fig.l Structure of HB-LSTM 是 情感 分 类 ,因此 可 以 与 该 结果 进行 比较 分 析 。Chen 等 人 实验 
2 ”实验 及 结果 分 析 中 选择 了 Be 作为 损失 函数 ， pde DENEN 
表 3 中 显示 在 这 两 种 情况 HB-LSTM 与 采用 了 注意 力 机 制 的 
2.1 数据 集 与 训练 NSC 模型 (NSC+UPA 表示 neural sentiment classification with 
本 文 在 两 个 数据 集 上 进行 了 评估 : IMDB 和 Yelp2013。 数 user and products information). 的 测试 精度 比较 。 
据 集 由 Tang 等 人 B9 建 立 并 进行 了 相应 的 处 理 ， 训 练 集 、 开 发 表 3 两 种 损失 函数 情况 下 HB-LSTM 与 NSC+UPA 的 比较 
集 、 测 试 集 的 比例 为 : 8:1:1， 与 Chen 等 人 [9 使 用 了 相同 的 数 Table3 Effect of HB-LSTM and NSC+UPA with RMSE or 
居 集 ， 不 同 的 是 ， 在 训练 中 Chen 等 使 用 了 200 维 的 预 训 练 词 binary crossentropy as loss function. 
HE, MALER PHI I RAE, ÆR I 256 维 的 词 向 IMDB Yelp 2013 
量 。 基 本 的 统计 信息 如 下 表 所 示 : 模型 Binary Binary 
表 1 数据 集 统计 Crossentropy SUE Crossentropy 
Table 1 Statistics of datasets NSC+UPA 53.3 N/A. 65.0 N/A. 
数据 集 类 别 数 ”文档 数 句子 文档 WAF HB-LSTM 50.03 90.32 48.78 80.94 
IMDB 10 84919 16.08 24.54 从 表 3 中 可 以 看 到 结果 的 差异 非常 大 , 同样 采用 RMSE 作 
Yelp2013 3 18200 RERO 17:38 为 损失 函数 ，HB-LSTM 的 精度 要 比较 NSC+UPA 25 3-7 个 百 


实验 中 采用 的 基线 模型 是 BI-LSTM, 评价 指标 为 测试 精度 。 分 点 。 但 如 果 采 用 Binary_Crossentropy 作为 损失 函数 ， 精 度 几 


Caccuracy )， 模 型 的 训练 目标 是 最 小 化 交叉 炉 函 数 ” 平 提升 一 倍 ， 其 中 的 原因 有 可 能 是 一 些 超 参数 的 设置 不 同 ， 这 


(binary crossentropy) ,使 用 Adam 优化 器 ，mini-batches 设 为 还 有 待 于 进一步 研究 。 


128. 中 文 数 据 集 是 有 关 商 品 及 服务 评论 的 情感 数据 集 ， 属 于 二 
为 了 便于 对 实验 结果 进行 分 析 ， 将 模型 应 用 于 另 一 个 中 文 。 分 类 问题 。LSTM 模型 在 这 样 的 二 分 类 问题 上 已 经 取得 了 不 错 


数据 集 29， 数 据 集 涉及 6 个 领域 ， 包 含 了 2 万 多 条 评论 。 主 要 ”的 效果 。 为 了 验证 情境 向 量 能 否 进 一 步 改进 模型 的 分 类 效果 ， 


J Œ B5 TH 


lm 


是 商品 及 酒店 等 服务 评论 ， 最 短 的 评论 只 有 一 个 字 ， 如 “好 ”， 实验 选取 单 层 LSTM 作为 基线 模型 ， 分 别 与 双向 LSTM (Bi- 


ZR 


“ 赞 ” 等 ,最 长 的 评论 2068 个 字 ， 是 关于 旅游 和 酒店 服务 投诉 LSTM)、 层 级 双向 LSTM (HB-LSTM) 进行 比较 。 实 验 结果 如 


的 。 所 有 的 评论 都 被 标注 了 正面 或 者 负面 情感 。 经 过 打 乱 次 序 。” 表 4 所 示 。 
后 取 前 15000 个 作为 训练 集 ， 其 余 的 作为 测试 集 。 xA ”中文 评 论 数 据 集 上 的 结果 比较 
在 模型 的 输入 层 ， 使 用 了 256 维 的 词 向 量 ， 情 景 向 量 256 Table 4 Experimental result and comparision 
维 ，LSTM 隐藏 节点 128 个 ，Dropout 设 为 0.5。 在 训练 前 所 有 模型 训练 精度 测试 精度 
文本 进行 了 分 词 ， 使 用 的 分 词 软件 是 jieba 分 词 。 LSTM 96.60 89.31 
2.2 ”结果 与 比较 分 析 Bi-LSTM 96.62 89.45 
之 前 在 数据 集 IMDB 和 Yelp 2013 上 进行 了 测试 ， 并 且 与 HBLSTM 98.87 90.75 
单 层 的 LSTM、Bi-LSTM 进行 了 比较 ， 通 过 情境 向 量 的 作用 ， 如 表 4 所 示 ， 采 用 LSTM 了 的 模型 总 体 表现 良好 ，LSTM 
分 类 正确 率 有 了 一 定 的 提升 。 本 次 实验 主要 是 以 Bi-LSTM 作为 。 对 邻近 的 信息 进行 了 整合 ， 较 好 地 考虑 了 每 个 句子 中 前 后 一 定 


基线 ， 验 证 情境 向 量 的 作用 ， 因 此 将 之 与 带 情境 特征 的 Bi- 


内 的 依赖 关系 ， 双 向 LSTM 的 改善 空间 不 大 。 但 是 增加 了 
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录用 定稿 xp 栋 ， 等 : 


情境 特征 后 的 层级 双向 LSTM CHB-LSTMO 正确 率 则 有 着 明显 
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本 文 认为 汉字 是 中 文 的 基本 单位 ， 基 于 汉字 的 情感 分 析 深 


的 提升 ， 实 验 结果 说 明 ， 增 加 了 情境 向 量 后 ， 全 
在 特征 中 产生 了 作 


表 5 LSTM 错 分 的 例子 


Table5 Some wrong classification example by LSTM 


局 的 情境 信息 
j， 取 得 了 优 于 基线 模型 的 改善 。 表 $ 中 列 
出 的 几 个 例子 都 是 LSTM 错 分 的 ,用 于 对 比 LSTM fll HB-LSTM. 


评论 LSTM HBLSTM 


很 不 错 ， 到 货 很 快 ， 当 天 给 客服 打 电 话 ， 下 午 安 装 人 员 就 上 


门 了 ， 速 度 啊 ! 但 但 当时 没有 水 ， 没 有 试 试 ， 应 该 没事 的 ， 万 negative positive 
一 有 问题 还 可 以 找 厂家 维护 人 员 

原装 用 的 气 的 热水器 坏 了 ,， 换 上 了 , ， 好 用 多 ， 不 会 再 出 现 

要 等 40 秒 以 上 才 会 有 热 水 ， 且 还 不 稳定 的 情况 了 , ， 现 在 用 


上 美的 电热 水 器 5 秒 后 就 出 热 水 ， 且 稳定 的 恒温 ， 好 用 ,, 建 ” negative positive 
议 千 万 不 要 去 买 烧 和 气 的 , !! 就 美的 电热 水 器 ， 经 济 且 很 实 

用 ! 

网 速 快 ， 且 方便 VPN 连 到 公司 内 部 网 ，IT 负责 人 把 网 络 设 

置 得 不 错 ， 表 扬 一 下 。 但 前 台 服 务 员 态度 达 不 到 满意 的 标 

准 。 酒 店 没有 丑 斗 ， 因 要 见 客户 ， 只 得 拜托 丑 一 件 衬 衫 ， 说 


了 5 块 ， 结 帐 时 却 要 价 8 块 ， 说 是 服务 费 和 加 急 费 要 3 块 。 


postive negative 


打开 玻璃 淋浴 间 的 门 ， 才 发 觉 右 手 至 少 要 有 2 米 长 才 可 够 得 
着 浴巾 ， 只 好 滴 着 水 出 来 拿 。 琢 麻 了 一 下 ， 浴 巾 也 不 能 带 进 
小 小 的 淋浴 间 呀 ， 不 知 谁 设计 的 。 没 找到 比 其 他 宾馆 更 多 的 


优点 ，560 块 大 洋 花 得 有 点 冤 ， 不 再 来 了 


第 一 个 例子 是 一 个 比较 明显 的 
所 以 用 错 分 , 是 由 于 句子 中 使 


况 ， 给 出 ] 


正 向 情感 的 表达 ，LSTM 之 
了 过 多 的 否定 词 , 如 “没有 水 ” 
“没事 ”问题 ” 等 ; 第 二 条 评论 陈述 了 商品 使 用 前 后 的 对 比 情 
“ 千 万 不 要 去 买 燃气 的 ”这 样 的 建议 ， 这 可 能 误导 


H 


T LSTM, 但 HB-LSTM 较 好 地 把 握 了 全 局 信息 ;第 三 条 评论 


前 后 句子 表达 的 含义 出 现 了 转折 ， 前 面 
后 面 大 段 内 容 表达 了 对 
不 会 
HB-LSTM 同样 
征 中 的 比重 ， 作 出 了 正确 的 判断 。 


UNE 


3 ”结束 语 


去 除 停 用 词 等 预 处 理 ， 经 


T 


Tie — HR ARFER a, Hunts PUBPRIHEA 


店 的 网 络 ， 但 
店 设施 、 服 务 的 不 满 ， 并 表示 “以 后 
来 了 ” 因此 总 体 来 讲 应 该 负面 的 情感 占 主 导 地 位 , 对 此 
把 握 了 总 体 信 息 ， 更 好 地 考虑 了 总 体 情境 在 特 


目前 在 情感 分 析 技 术 中 一 种 常用 的 方法 是 将 文档 进行 分 词 ， 
个 前 馈 神 经 网 络 将 词 表示 成 稠密 
连续 的 词 向 量 ， 再 通过 诸如 LSTM、CNN 等 深度 学 习 模 型 进行 
特征 提取 和 情感 分 类 ， 这 种 方法 取得 了 一 定 的 成 果 。 本 文 分 析 
依赖 


问题 ， 提 出 了 利用 文档 整体 所 提供 的 情境 信息 来 增强 深度 学 习 
模型 的 特征 提取 能 力 ， 从 而 提高 情感 分 类 效果 的 假设 。 实 验 结 


分 类 问题 的 作用 是 比较 明显 的 。 


分 类 问题 ， 尤 其 是 对 社交 网 络 文本 的 分 析 ， 将 会 在 社区 划分 、 
与 情 监 控 和 分 析 等 应 方面 有 更 大 的 价值 。 另 一 方 


果 表 明 ， 这 种 整合 了 情境 特征 的 模型 与 基线 模型 相 比 对 于 情感 


在 接 下 来 的 研究 中 将 探索 将 情境 特征 的 应 用 于 更 加 广泛 的 


Em, SpA 


文中 字符 级 的 深度 学 习 模型 pal、 图 像 处 理 中 的 基于 像素 点 的 模 


度 学 习 模 型 非常 值得 深入 研究 。 
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